Độ phức tạp của một mô hình toán học luôn bao gồm sự đánh đổi giữa sự đơn giản và độ hiệu quả. Occam's Razor là một nguyên lý đặc biệt liên quan đến vấn đề mô hình hóa; ý tưởng cơ bản là giữa các mô hình mà có khả năng phán đoán tương đối như nhau, thì mô hình đơn giản nhất được lựa chọn. Trong khi việc tăng độ phức tạp thì thường tăng độ phù hợp của mô hình, nó lại làm cho mô hình khó hiểu và khó để làm việc với nó, đồng thời có thể làm xuất hiện các vấn đề về tính toán, bao gồm sự ổn định của số được tính. Thomas Kuhn cho rằng khi mà khoa học phát triển, việc giải thích thường trở nên càng phức tạp trước khi có một Paradigm shift tạo ra một sự đơn giản hóa căn bản.

Ví dụ: khi mô hình một chuyến bay của một chiếc máy bay, ta có thể tạo ra một mô hình lớn từ các mô hình nhỏ riêng biệt của từng bộ phận. Như vậy ta có một mô hình-hộp trắng của chiếc máy bay. Tuy nhiên, chi phí tính toán khi mà thêm vào một lượng lớn các mô hình thành phần làm cho mô hình mẹ khó được quản lý. Mỗi mô hình con đều có độ lệch của nó, điều đó làm cho khó ước đoán hoạt động của mô hình lớn.